#Multi-Objective RL

6 篇

UniPolicy: Unified Objective-Specific Policies for Generative Search Advertising

UniPolicy：生成式搜索广告的统一目标专属策略

🧭 生成式广告检索 · 多目标RL对齐 ★ 深度解读

Meituan

用目标前缀、MoE-LoRA路由和专属FFN解耦多目标生成式广告检索策略，在线提升CTR/RPS/收入

📌 工作参考价值（4 点）

多目标生成式检索不要简单 reward fusion：用 objective prefix token + 稀疏 MoE-LoRA + objective-specific FFN，在同一个生成骨干上做层级参数隔离，显著缓解 eCPM/CTR/相关性之间的梯度竞争。
利用多阶段行为日志构造 Click > Exposure > Miss 的 pairwise margin loss，把“曝光未点击”样本用起来，显式建模候选间相对偏好，能提升生成结果的 NDCG 和点击候选排序。
推理侧采用共享 KV cache 的并行多策略 beam search，业务可灵活分配各目标候选配额；固定候选预算下用 trim-and-backfill 兜底，P99 延迟只增加 2.5%，适合工业检索在线部署。
目标前缀 token 可控性强：单独输入 <eCPM>、<CTR>、<Relevance> 即可触发对应偏好，线上可以按活动或场景动态调整配额，复用到电商推荐/广告召回的多业务目标平衡。

GenRec | 2026-09-17 | cs.CL | score 10/10

Generative Retrieval Multi-Objective RL MoE-LoRA Semantic ID Search Advertising GRPO

LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback

LEMUR：从偏好反馈中学习多目标强化学习的对齐框架

🧭 多目标偏好强化学习

University of Manchester · University of Sheffield · Sheffield Hallam University

通过多人偏好反馈联合学习多奖励模型与策略，无需预定义奖励函数即可平衡多个竞争目标

📌 工作参考价值（4 点）

交互式多目标推荐学习：在推荐系统中，可直接收集用户对推荐列表的偏好（如“列表A优于B”）而非设计显式奖励，自动学习CTR、GMV、多样性等目标的隐奖励模型。
无权重预设的多目标折中：不需手动指定各目标权重，通过偏好反馈隐式学习用户或业务方的偏好结构，使策略自动适应不同权衡需求，适合电商中动态变化的业务指标。
Agent决策优化：对对话推荐或任务型Agent，可用此法同时优化任务完成率、对话长度、用户满意度等多目标，利用人类反馈交互式训练，降低奖励函数设计的成本。
工程借鉴：联合训练策略与多个目标奖励模型的架构可用于实际在线学习系统，配合主动查询（选择信息量高的轨迹对进行标注）提升样本效率。

Training | 2026-07-31 | cs.AI | score 7/10

Multi-Objective RL Preference-based RL Human Feedback Reward Modeling Policy Learning

Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection

语义帕累托-DQN：面向金融异常检测的多目标强化学习框架

🧭 多目标强化学习 · LLM 语义表示

A3Data

用 LLM 编码交易描述作状态，多目标解耦效益与摩擦，打破零召回成规

📌 工作参考价值（4 点）

将异构特征转化为自然语言叙述并用 LLM 编码：在电商/推荐系统中，可将用户行为序列、商品属性、上下文信息拼接为简洁的自然语言 Prompt，通过 LLM 获得鲁棒的通用语义 state embedding，替代手工特征工程，提升多模态信号融合稳定性。
多目标奖励解耦设计：在推荐场景中（如平衡 CTR、GMV、用户停留时长），采用向量化奖励取代加权求和，每个维度独立反馈，agent 可直接学习不同目标间的权衡，避免标量化带来的目标淹没。实现上可仿照本文 Pareto-DQN，输出多维 Q 值并通过帕累托前沿动态选择动作。
利用 RL 处理极端类别不平衡：对于点击、转化等低概率事件，传统分类器容易坍缩到多数类。可借鉴本文的自适应决策理念，用 RL agent 在线决策是否推送/出价，通过奖励信号中显式纳入对少数类的补偿，突破静态模型的 recall 陷阱。
帕累托前沿导航实现策略热切换：在线上服务中，根据业务需要（如大促期间更重视 GMV，平时更重视体验）可以实时在帕累托前沿上移动选择不同的策略点，无需重新训练，适合多变的电商运营需求。

Agent | 2026-07-10 | cs.LG | score 6/10

Multi-Objective RL LLM Pareto Frontier Fraud Detection Semantic State DQN

Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning

基于多目标强化学习的LLM预训练全局数据调度器

🧭 LLM预训练在线数据混合

China Electronics Technology Group Corporation 15th Research Institute · Renmin University of China · BRAIN · Alibaba Group

用多目标强化学习动态混合训练数据，兼顾数据质量、域间影响和模型自身信号

📌 工作参考价值（4 点）

训练电商/搜索/推荐场景的多域统一模型（如用户行为序列模型）时，可借鉴其多目标奖励设计：同时考虑各域数据质量指标、域间损失信号交互（如搜索域的 loss 变化对推荐域的预测影响），以及模型参数范数等内在反馈，用 RL 动态调整各域采样比例，替代固定混合策略。
工程实现上，采用 Soft Actor-Critic (SAC) 算法在连续空间中输出各域采样权重，比离散调度更平滑，且通过离线回放池减少在线交互成本；该框架可直接复用到多数据源的 Embedding 训练或生成式推荐模型的 token 混合训练。
实验显示 HDS 可节省 44% 训练步数达到同等困惑度，且下游任务（MMLU）提升 7.2%，表明更高效的数据利用——在业务资源有限时，用该方法加速大模型训练收敛，避免昂贵的全量等比例训练。
注意该方法需要实时监控多域验证损失，业务落地时须搭建配套的评估流与 RL 控制回路，初期可先在离线训练中模拟不同混合策略的效果，再切换到在线调度。

Training | 2026-06-22 | HF Daily | score 7/10

Online Data Mixing Multi-Objective RL SAC LLM Pre-training Data Scheduling

Learning Coordinated Preference for Multi-Objective Multi-Agent Reinforcement Learning

面向多目标多智能体强化学习的协调偏好学习

🧭 多智能体多目标偏好协调学习 ★ 深度解读

University of Arizona

通过让智能体学习协调的个性化偏好向量，实现团队角色分工和帕累托前沿覆盖，提升多目标多智能体协作性能

📌 工作参考价值（4 点）

多智能体协作系统可借鉴“个性化偏好分工”思路：不让所有 Agent 共享相同的目标权重，而是为每个 Agent 学习专属的偏好向量，促进角色分化（如一个侧重效率，另一个侧重安全），从而在整体目标上获得协同增益。这在推荐系统的多召回通道、多目标排序模型的协同中值得尝试。
偏好的学习可建模为隐变量协调：使用基于 Dirichlet 分布的随机偏好规划器根据局部观测采样偏好，再输入偏好条件策略执行动作；训练时通过团队优势信号和多样性正则项更新规划器，实现端到端的偏好协调。这一机制可迁移到多 Agent 推荐或广告竞价场景，让不同 Agent 自适应地关注不同指标。
偏好多样性正则项（最大化 Agent 间偏好分布的 pairwise 距离）可防止所有 Agent 偏好坍缩至相同方向，强制形成互补的分工；在工程上，这类似于在多个策略网络间引入差异化约束，提升整体系统的鲁棒性。
理论分析表明偏好多样性能够为团队目标带来一阶增量改善，这意味着在设计多目标多智能体系统时，可以优先考虑在偏好空间中增加多样性作为廉价的性能提升手段。

MultiAgent | 2026-06-12 | cs.AI | score 8/10

Multi-Agent RL Multi-Objective RL Preference Coordination CTDE Pareto Front

Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR

POW3R：基于策略感知的动态评分标准奖励框架

🧭 RLVR · 动态奖励聚合 ★ 深度解读

Scale AI · Persona

提出POW3R框架，通过rollout对比自适应调整评分标准权重，将人类重要性与当前可学性解耦，提升GRPO训练效果与效率

📌 工作参考价值（4 点）

多目标奖励的动态权重分配：在电商推荐或Agent的多维度评估中（如准确性、多样性、响应速度），可借鉴POW3R，根据策略当前表现动态调整各维度在奖励中的压力，避免固定权重导致学习停滞在已饱和或无法达标的目标上。
信息量驱动的训练信号筛选：利用rollout级别的方差（或评分者间分歧）识别哪些评估项对当前策略最具区分力，将训练压力集中于此，其他项保留基线权重，这能提升早期训练效率和最终性能，类似推荐系统中对困难用户或长尾商品的强化学习倾斜。
保持类别质量平衡的归一化设计：POW3R在类别内重新分配权重但保持类别总质量不变，这种设计可复用至Agent的多能力维度（规划、工具使用、解答准确性）训练，避免某一能力因梯度占优而掩盖其他能力的发展。
评估与训练奖励解耦：静态的人类重要性权重保留作为最终评估目标，训练时则使用动态权重提供更丰富的梯度信号。这种拆解对生成式推荐中多语义ID的优化同样适用：静态的语义重要度不直接等同于RL训练时的有效信号，可分别设计评价和训练两套权重。

Training | 2026-05-18 | HF Daily | score 8/10

RLVR GRPO Rubric Reward Dynamic Weighting Multi-Objective RL VLM